Đảo đá này được đặt theo tên của Trung úy Hải quân Hoàng gia Anh Henry Lidgbird Ball, người đã báo cáo về việc phát hiện ra nó vào năm 1788. Cũng trong chuyến đi này, ông cũng đã báo cáo về việc phát hiện ra đảo Lord Howe. Người đầu tiên lên bờ được cho là Henry Wilkinson, một nhà địa chất của Bộ Mỏ New South Wales vào năm 1882.

Năm 1964, một nhóm leo núi bao gồm cả Dick Smith và các thành viên khác của phong trào Hướng đạo đã cố gắng leo lên đỉnh của đảo đá. Nhưng đến ngày thứ năm họ đã phải quay trở lại vì thiếu lương thực và nước uống. Đảo đá lần đầu tiên được chinh phục là vào ngày 14 tháng 2 năm 1965 bởi Bryden Allen, John Davis, Jack Pettigrew và David Witham của Câu lạc bộ leo núi Sydney. Jack Hill của New Zealand sau đó leo lên đỉnh cùng với Jack Pettigrew vào ngày hôm sau. Don Willcox và Ben Sandilands là một phần của nhóm hỗ trợ.[3]

Năm 1979, Dick Smith đã trở lại hòn đảo cùng với những người leo núi là John Worrall và Hugh Ward. Họ đã thành công trong việc leo lên đỉnh hòn đảo, treo Cờ New South Wales được trao bởi thống đốc bang Neville Wran, tuyên bố là lãnh thổ của Úc. Leo lên đảo đá sau đó đã bị cấm vào năm 1982 theo sửa đổi Đạo luật Đảo Lord Howe. Vào năm 1986, mọi hoạt động tới đảo đá đã bị cấm bởi Hội đồng Đảo Lord Howe. Năm 1990, chính sách này đã được nới lỏng để cho phép một số người leo núi, theo những điều kiện nghiêm ngặt và trong những năm gần đây kèm theo yêu cầu là được sự cho phép của bộ trưởng bang liên quan.[4]